#!/usr/bin/env python
# -*- conding: utf-8 -*-

"""
@Time     : 2024/9/5 7:12
@Author   : liujingmao
@File     : 1.问答转换器示例.py
"""

import dotenv
from doctran import Doctran
from langchain_community.document_transformers import DoctranQATransformer
from langchain_core.documents import Document

_ = Doctran

dotenv.load_dotenv()

"""
问答转换器的使用流程
1. 构建文档列表
2. 将文档列表传到Document
3. 调用LLM构建问答转换器并转换
4. 输出问答转换
5. 应用场景：
"""

# 1.构建文档列表
page_content = """机密文件 - 仅供内部使用
日期：2023年7月1日
主题：各种话题的更新和讨论
亲爱的团队，
希望这封邮件能找到你们一切安好。在这份文件中，我想向你们提供一些重要的更新，并讨论需要我们关注的各种话题。请将此处包含的信息视为高度机密。
安全和隐私措施
作为我们不断致力于确保客户数据安全和隐私的一部分，我们已在所有系统中实施了强有力的措施。我们要赞扬IT部门的John Doe（电子邮件：john.doe@example.com）在增强我们网络安全方面的勤奋工作。未来，我们提醒每个人严格遵守我们的数据保护政策和准则。此外，如果您发现任何潜在的安全风险或事件，请立即向我们专门的团队报告，联系邮箱为security@example.com。
人力资源更新和员工福利
最近，我们迎来了几位为各自部门做出重大贡献的新团队成员。我要表扬Jane Smith（社保号：049-45-5928）在客户服务方面的出色表现。Jane一直受到客户的积极反馈。此外，请记住我们的员工福利计划的开放报名期即将到来。如果您有任何问题或需要帮助，请联系我们的人力资源代表Michael Johnson（电话：418-492-3850，电子邮件：michael.johnson@example.com）。
营销倡议和活动
我们的营销团队一直在积极制定新策略，以提高品牌知名度并推动客户参与。我们要感谢Sarah Thompson（电话：415-555-1234）在管理我们的社交媒体平台方面的杰出努力。Sarah在过去一个月内成功将我们的关注者基数增加了20%。此外，请记住7月15日即将举行的产品发布活动。我们鼓励所有团队成员参加并支持我们公司的这一重要里程碑。
研发项目
在追求创新的过程中，我们的研发部门一直在为各种项目不懈努力。我要赞扬David Rodriguez（电子邮件：david.rodriguez@example.com）在项目负责人角色中的杰出工作。David对我们尖端技术的发展做出了重要贡献。此外，我们希望每个人在7月10日定期举行的研发头脑风暴会议上分享他们的想法和建议，以开展潜在的新项目。
请将此文档中的信息视为最机密，并确保不与未经授权的人员分享。如果您对讨论的话题有任何疑问或顾虑，请随时直接联系我。
感谢您的关注，让我们继续共同努力实现我们的目标。
此致，
Jason Fan
联合创始人兼首席执行官
Psychic
jason@psychic.dev"""

content = """
刀郎，本名罗林，1971年6月22日出生于四川省内江市资中县 [51]，中国内地流行乐男歌手、词曲作者、音乐制作人 [1]。
1995年，刀郎成立“西北音乐工作室”，开始在新疆发行音乐作品 [1]。
2003年，凭借制作的音乐合辑《西域情歌》获得关注 [51]。2004年，发行个人首张音乐专辑《2002年的第一场雪》 [44]，该专辑正版销量达到270万张 [45]，获得第5届中国金唱片奖“通俗类专辑奖” [17]。专辑中的歌曲《冲动的惩罚》获得第27届十大中文金曲“全国最受欢迎中文歌曲铜奖” [2]；同年，发行音乐专辑《喀什噶尔胡杨》，首日达到40万张销量 [46]。2005年，获得第5届音乐风云榜“年度风云大奖” [20]。2006年，发行音乐专辑《刀郎III》 [48]，并同步推出个人精选专辑《谢谢你》和翻唱专辑《披着羊皮的狼》 [49]。2009年，其创作的歌曲《一家人》获得第11届“精神文明建设五个一工程奖” [65]。2011年，推出个人音乐专辑《刀郎2011》 [45]；同年，举行刀郎“谢谢你”世界巡回演唱会 [9]。2012年，凭借歌曲《爱是你我》获得第12届“精神文明建设五个一工程奖” [50]。2013年起，刀郎淡出公众视野 [62]。2020年，推出音乐专辑《弹词话本》回归乐坛。2021年，发行推出音乐专辑《世间的每个人》 [5]。2023年，发行个人音乐专辑《山歌寥哉》 [54]，凭借歌曲《罗刹海市》再次获得广泛关注 [51]。2024年，举办刀郎“山歌响起的地方”中国巡回演唱会 [111]
"""

documents = [Document(page_content=content)]

# 2.构建问答转换器并转换
qa_transformer = DoctranQATransformer(openai_api_model="gpt-3.5-turbo-16k")
transformer_documents = qa_transformer.transform_documents(documents)

# 3.输出内容
for qa in transformer_documents[0].metadata.get("questions_and_answers"):
    print("问答数据:", qa)

# page_content 结果
"""
问答数据: {'question': '文件日期是什么？', 'answer': '2023年7月1日'}
问答数据: {'question': '文件主题是什么？', 'answer': '各种话题的更新和讨论'}
问答数据: {'question': '谁是IT部门的网络安全负责人？', 'answer': 'John Doe（电子邮件：john.doe@example.com）'}
问答数据: {'question': '如果发现安全风险或事件，应该向谁报告？', 'answer': '专门的团队，联系邮箱为security@example.com'}
问答数据: {'question': '谁在客户服务方面表现出色？', 'answer': 'Jane Smith（社保号：049-45-5928）'}
问答数据: {'question': '员工福利计划的开放报名期是什么时候？', 'answer': '即将到来'}
问答数据: {'question': '人力资源代表的联系信息是什么？', 'answer': 'Michael Johnson（电话：418-492-3850，电子邮件：michael.johnson@example.com）'}
问答数据: {'question': '谁在管理社交媒体平台方面做出了杰出努力？', 'answer': 'Sarah Thompson（电话：415-555-1234）'}
问答数据: {'question': '产品发布活动的日期是什么时候？', 'answer': '7月15日'}
问答数据: {'question': '谁在研发部门担任项目负责人角色？', 'answer': 'David Rodriguez（电子邮件：david.rodriguez@example.com）'}
问答数据: {'question': '研发头脑风暴会议的日期是什么时候？', 'answer': '7月10日'}
"""

# content结果
"""
问答数据: {'question': '刀郎的本名是什么？', 'answer': '罗林'}
问答数据: {'question': '刀郎是哪年出生的？', 'answer': '1971年'}
问答数据: {'question': '刀郎是哪里人？', 'answer': '四川省内江市资中县'}
问答数据: {'question': '刀郎是什么职业？', 'answer': '流行乐男歌手、词曲作者、音乐制作人'}
问答数据: {'question': '刀郎成立了什么音乐工作室？', 'answer': '西北音乐工作室'}
问答数据: {'question': '刀郎的首张音乐专辑是什么？', 'answer': '2002年的第一场雪'}
问答数据: {'question': '刀郎的首张音乐专辑的正版销量是多少？', 'answer': '270万张'}
问答数据: {'question': '刀郎的歌曲《冲动的惩罚》获得了哪个奖项？', 'answer': '第27届十大中文金曲“全国最受欢迎中文歌曲铜奖”'}
问答数据: {'question': '刀郎的音乐专辑《喀什噶尔胡杨》首日销量达到了多少张？', 'answer': '40万张'}
问答数据: {'question': '刀郎获得了哪个奖项？', 'answer': '第5届音乐风云榜“年度风云大奖”'}
问答数据: {'question': '刀郎的第三张音乐专辑是什么？', 'answer': '刀郎III'}
问答数据: {'question': '刀郎的精选专辑是什么？', 'answer': '谢谢你'}
问答数据: {'question': '刀郎的翻唱专辑是什么？', 'answer': '披着羊皮的狼'}
问答数据: {'question': '刀郎创作的歌曲《一家人》获得了哪个奖项？', 'answer': '第11届“精神文明建设五个一工程奖”'}
问答数据: {'question': '刀郎的个人音乐专辑《刀郎2011》是在哪一年推出的？', 'answer': '2011年'}
问答数据: {'question': '刀郎举办了哪个巡回演唱会？', 'answer': '谢谢你'}
问答数据: {'question': '刀郎凭借歌曲《爱是你我》获得了哪个奖项？', 'answer': '第12届“精神文明建设五个一工程奖”'}
问答数据: {'question': '刀郎在2020年推出了哪个音乐专辑？', 'answer': '弹词话本'}
问答数据: {'question': '刀郎在2021年发行了哪个音乐专辑？', 'answer': '世间的每个人'}
问答数据: {'question': '刀郎将在2023年发行哪个个人音乐专辑？', 'answer': '山歌寥哉'}
问答数据: {'question': '刀郎凭借歌曲《罗刹海市》获得了哪个奖项？', 'answer': '广泛关注'}
问答数据: {'question': '刀郎将在2024年举办哪个巡回演唱会？', 'answer': '山歌响起的地方'}
"""
